模型压缩（一）通道剪枝

论文：https://arxiv.org/pdf/1708.06519.pdf

BN层中缩放因子γ与卷积层中的每个通道关联起来。在训练过程中对这些比例因子进行稀疏正则化，以自动识别不重要的通道。缩放因子值较小的通道(橙色)将被修剪(左侧)。剪枝后，获得了紧凑的模型(右侧)，然后对其进行微调，以达到与正常训练的全网络相当(甚至更高)的精度。

BN层原理：

 归一化化后，BN层服从正态分布，当γ,β趋于0时，经过阈值分离，输出为0，与之连接的卷积层输入为0。

剪枝流程：

剪枝原理：

在BN层网络中加入稀疏因子，训练使得BN层稀疏化，对稀疏训练的后的模型中所有BN层权重进行统计排序，获取指定保留BN层数量即取得排序后权重阈值thres。遍历模型中的BN层权重，制作各层mask（权重>thres值为1，权重